What is Missing from AI Post-Training AI: An Empirical Analysis
AI 后训练中缺失什么：实证分析
🧭 LLM Agent 后训练能力实证分析
Tsinghua University · Renmin University of China · University of Electronic Science and Technology of China
发现 LLM Agent 后训练时策略锁定在初始阶段，仅做局部调整，经验、人类指导与推理算力均无法激发策略级自省
📌 工作参考价值（4 点）
- 若用 LLM Agent 做搜索/推荐模型自动调参或训练流水线，不要只给历史经验或 prompt 提示：需在框架中设置强制策略审查点，要求 agent 根据验证集波动、性能 plateau 等证据重写全局训练策略，避免陷入局部搜索。
- 经验驱动 scaffold 能提升执行效率，但不会改变策略方向；因此对需要探索不同召回/排序结构或生成式推荐 Semantic ID 空间的场景，仅靠积累经验不够，应引入多样性注入或不同策略并行。
- 人类指导只能修正初始策略，开始训练后 agent 会退回局部调整；工程上可在训练循环中加入自动化干预触发器（如验证指标停滞 N 步），强制 agent 重新评估目标与超参数。
- 增加推理算力对简单任务有效，难任务几乎无增益；在复杂商品理解或长链路推荐优化中，不要把算力花在更多推理 token 上，而应投资于更好的策略搜索算法或全局探索机制。